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Abstract 

A method of monitoring a locality or location e.g. in a motor vehicle or on a manufacturing line, in which the 
location is illuminated by a light source and photographed by a camera. On the basis of the photograph, 
information about the position of objects at the location is ascertained, and the photograph is compared with 
at least one reference image. The light source is specifically an infra-red (I R) light source, or more 
specifically a laser beam. 
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Prufungsantrag gem. § 44 PatG ist gestellt 

(S) Verfahren und Vorrichtung zur Uberwachung einer Szene 

(§) Zur automatisierten Uberwachung einer Szene, bspw. 
in einem Kfz oder einer Fertigungsstrafie, wird mit einer 
Lichtquelie die Szene beleuchtet, von einer Kamera auf- 
genornmen und diese Aufnahme mit einem Referenzbild 
derart verglichen, dafc eine Abweichung zwischen Auf- 
nahme und Referenzbild bestimmt, bewertet und eine 
vorgegebene Aktion ausgelost wird, sobatd die Abwei- 
chung oberhaib eines vorgegebenen Schwellwerts liegt 
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Beschreibung 



Die Erfindung bctrirTt ein Verfahren unci eine Vorrichtung 
zur Uberwachung einer vorgegebenen Szene. 

Ein Triangulationsverfahren zur optischen Entfemungs- 
messung ist aus [1] bekannt. 

Urn eine Position eines Objektcs, bspw. einer Person, in- 
nerhalb einer Szene, z. B. einem Bedienpiatz fur eine Ma- 
schine oder einer Fiihrerkanzel zur Steuerung eines Fahr- 
zeugs, zu bestimmen oder auch nur zu gewahrleisten, da6 
das Objekt sich in etwa an einer "richtigen" Position aufhalt, 
bei dem Bedienpiatz z. B. in der Nahe des Nol-Aus-Schal- 
ters, ist die jeweilige Szene zu uberwachen. 

Dies geschieht mittels allgemein bekannter Techniken, 
wie die Installation von Videokameras, die von Personen 
uberwacht werden. Femer werden in der Praxis hauptsach- 
lich unspezifisch wirkende Sensoren eingesetzi, z. B. Bewe- 
gungsmcldcr odcrLichtschrankcn. 

Die Aufgabe der Erfindung besteht darin, ein Verfahren 
und eine Vorrichtung anzugeben, die jeweils die Uberwa- 
chung einer Szene ermogiichen, wobei insbesondere ge- 
ringe Anforderungen an eine Reehenleistung und eine in ho- 
hcm Grade automat isierte Uberwachung gewahrleistet wer- 
den. 

Die Aufgabe wird gemaB den Merkmalen der unabhangi- 
gen Patentanspruche gelost. 

Zunachst wird ein Verfahren zur Uberwachung einer 
Szene angegeben, bei dem die Szene mil einer Lichtquelle 
beleuchlet wird. Diese beleuchtete Szene wird mi! einer Ka- 
il icra aufgenommen. Anhand der aufgenommenen Szene 
werden In forma tionen uber Positionen von in der Szene vor- 
handenen Objekten gewonnen und die Szene uberwacht, in- 
deni die Aufnahme niit einem Referenzbild verglichen wird 
und bei einer Abweichung der Positionen der Objekte um 
mehr als einen vorgegebenen Schwellwert eine Aktion aus- 
gclost wird. 

Es ist eine Weiterbildung der Erfindung, daB die Licht- 
quelle eine Infrarot-Lichtquelle oder ein Laserstrahl ist. 

In einer anderen Weiterbildung wird durch die Licht- 
quelle ein Lichtbuschel erzeugt. Unter einem Lichtbuschel 
werden mehrere Lichtstrahlen verstanden, die anhand eines 
geeignelen Mittels aus der Lichtquelle hervorgehen. Ist die 
Lichtquelle ein Laserstrahl, so kann das Lichtbuschel durch 
Beugung des Laserstrahls an einem optischen Gitter erzeugt 
werden. Andere Moglichkeiten zur Erzeugung eines Licht- 
buschels werden weiter unten beschrieben. 

In einer anderen Weiterbildung wird die Information liber 
die Position von dem in der Szene vorhandenen Objekt ge- 
wonnen, indeni die Aufnahme mit mindestens einem Refe- 
renzbild verglichen wird. Dazu isi das Referenzbild auf ge- 
eignete An abzuspeichern. Insbesondere wird die Auf- 
nahme mit dent Referenzbild verglichen, indent eine Abwei- 
chung, dargestellt durch eine Menge von Vektoren, deren je- 
dcr eine DifTerenz zwischen der Aufnahme und dent Refe- 
renzbild bezogen auf einzelne Punkte, die anhand der Licht- 
quelle auf die Szene geworfen werden, kennzeichnet, mit 
Hilfe eines probabilistischen Verfahrens ausgewertet und 
soniit die Szene uberwacht wird. Das probabilistische Ver- 
fahren kann beispielsweise als ein neuronales Nelz ausge- 
fuhrt sein. 

Vorzugsweise wird eine yorgegebene Szene mit einer 
Lichtquelle, aus der bevorzugt ein Lichtbuschel hervorgeht, 
beleuchtet. Die Art der Beleuchtung entsprichl einer Mar- 
kierung der Szene. Die Kamera nimmt die Szene einschlieB- 
lich der Markicrung auf und vcrglcicht dicsc Aufnahme mit 
einem in einem Speicher abgeleglen Referenzbild. Alterna- 
tiv kann ein Vergleich auch mil niehreren Referenzbildern 



fuhrt, indem die Menge der Vektoren, die einen Unterschied 
zwischen Referenzbild und Aufnahme kennzeichnen, mit 
Hilfe eines neuronalcn Netzes oder einem anderen probabi- 
listischen Verfahrens ausgewertet wird. Diese Auswertung 
5 zwischen einem Punkt des Referenzbildes und einem Punkt 
der Aufnahme erfolgl durch eine Individualisierung der 
Lichtstrahlen mittels der Lichtquelle. Eine derartige Indivi- 
dualisierung kann beispielsweise durch zeitversetztes Aus- 
strahlen einzelner Lichtstrahlen des Lichtbuschels erfolgen. 

10 Aus einer auf diese Art gewonnenen zeitlichen Reihenfolge 
der einzelnen Lichtstrahlen des Lichtbuschels kann die Zu- 
ordnung zu den entsprechenden Punkten des Referenzbildes 
erlblgen. Vorzugsweise wird das Referenzbild inklusive der 
Projektion der Lichtstrahlen des Lichtbuschels im Speicher 

15 abgelegt. 

Eine andere Moglichkeit zur Individualisierung besteht 
darin, bei matrizenformig angeordneten Laserdioden (Licht- 
buschel) die Matrix so auszufuhrcn, daB die Langsachsc in 
Richtung des lateralen Kameralichtquellenversatzes weist. 

20 Die Elemente der Matrix, also die Laserdioden werden zeit- 
codiert angesteuert. Die Aufnahme der Kamera wird derart 
aufbereitet, daB die Zeiteodierung erkennbar ist und damit 
die Lichtpunkte der Laserdioden zu den Punkten des Refe- 
renzbildes zugeordnet werden konnen. Zusatzlich besteht 

25 die Moglichkeit, die Fonn der von den Laserdioden eniit- 
tierten Strahlen abhangig von der Anordnung der jeweiligen 
Laserdiode innerhalb der Matrix zu verandern, so daB auch 
die kameraseitig aufgenonimene Fonn des Lichtstrahls (des 
Lichtbuschels) zur Rekonstruktipn der Zuordnung zu den 

30 Punkten des Referenzbildes bei tragi. 

Generell besteht die Moglichkeit, falls im Verlauf der 
Uberwachung die Aufnahme von dem Referenzbild. um 
mehr als einen vorgegebenen Wert abweicht, eine vorgege- 
bene Aktion durchgefiihrt wird. Dies kann z. B. eine Alarm- 

35 ausldsung oder eine Notbremsung eines Fahrzeugs sein. 

Nachfolgend wird auf Moglichkeiten zur Erzeugung des 
Lichtbuschels naher eingegangen. 

Es ist eine Weiterbildung der Erfindung, das Lichtbuschel 
anhand der Lichtquelle, vorzugsweise einer Laserdiode, und 

40 eines multiplen Strahlenteilers zu erzeugen. Der Strahlentei- 
ler umfaBt einen ersten Spiegel, dessen reflektierende Flache 
in Richtung der zu beleuchtenden Szene gerichtet ist und der 
naher an der Lichtquelle angeordnet ist als ein zweiter Spie- 
gel, dessen reflektierende Flache der refiektierenden Flache 

45 des ersten Spiegels gegenuberliegt. Dabei sind der erste und 
der zweite Spiegel zueinander keilformig angeordnet, wobei 
der zweite Spiegel eine geringere Reflexion als der erste 
Spiegel aufweist. Ein Lichtstrahl, der zuerst auf den zweiten 
Spiegel fallt, wird von diesem zum Teil in Richtung der zu 

50 beleuchtenden Szene durchgeiassen und zum Teil zum er- 
sten Spiegel reflektiert, von wo aus er wiedenim zum zwei- 
ten Spiegel reflektiert wird. Eine detaillierte Beschreibung 
des multiplen Strahlenteilers befindet. sich in der Figurenbe- 
schreibung. 

55 Vorzugsweise weist der zweite Spiegel eine Reflexion 
kleiner 100% auf. Insbesondere weist der erste Spiegel eine 
vollstandige Reflexion auf. 

Es ist eine Weiterbildung der Erfindung, daB das Lichtbii- 
schel anhand eines 2-dimensionalen Beugungsgitters er- 

60 zeugt wird. Vorzugsweise ist das Beugungsgitter derart aus- 
gelegl, daB jeder einzelne Lichtstrahl des Lichtbuschels na- 
hezu gleiche Helligkeit aufweist. 

. Weiterhin sind Ablenkvorrichlungen vorstellbar, die min- 
destens einen Lichtstrahl, vorzugsweise einen Laserstrahl, 
65 ablcnkcn und soniit die vorgcgcbcnc Szcnc cin- oder zwci- 
diniensional beleuchtet. 

Eine Anwendung des Verfahrens besteht darin, daB die 
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Bedienperson in dem Bedienrauni iiberwacht wird. 

Eine andere Anwendung. des Verfahrens besteht darin, 
daB die Szene ein Fahrersitz eines Fahrzeugs ist. 

Auch ist es eine Anwendung der Erfindung, daB die Szene 
ein Bedienplatz in einer Fertigungsanlage ist. 5 

Ferner wird eine Vorrichtung zur Uberwachung einer 
Szene angegeben, die eine Lichtquellc aufweist, die die 
Szene beleuchtet. Die Vorrichtung umfaBt eine Kamera, die 
die von der Lichtquelle beleuchtete Szene aufnimml. Die 
Vorrichtung verfugt weiterhin uber einen Aktor, der anzeigt, 10 
daB mindestens ein Objekt der Szene sich auBerhalb vorge- 
gebener Parameter befindet, sobald ein Vergleich der Auf- 
nahme mit einem Referenzbild eine Abweichung oberhalb 
eines vorgegebenen Schwellwertes ergibt. Dieser Aktor 
kann auf unterschiedliche Art ausgefuhrt sein. So ist als Ak- 15 
tor ein Rechner vorstellbar. der eine vorgegebene Aktion 
durchfuhrt, falls ein Objekt sich auBerhalb vorgegebener Pa- 
rameter befindct. 

Weiterbildungen der Erfindung ergeben sich auch aus den 
abhangigen Anspriichen. 20 

Die Vorrichtung ist insbesondere geeignet zur Durchfuh- 
rung des erfindungsgemaBen Verfahrens oder einer seiner 
vorstehend erlauterten Weiterbildungen, 

Anhand der folgenden Figuren werden Ausfiihrungsbei- 
spiele der Erfindung naher dargestelll. 25 

Es zeigen 

Fig. 1 eine schematische Darstellung zur Uberwachung 
einer vorgegebenen Szene mit einer Lichtquelle, die ein 
Lichtbuschel emittiert und einer Kamera, die die Szene auf- 
nimmt; 30 

Fig. 2 einen multiplen Strahlenteiler, der aus einem Licht- 
strahl ein Lichtbuschel erzeugt; 

Fig. 3 eine schematische Darstellung zur Sitzplatzuber- 
wachung, bei der abhangig von der Sitzposition einer Person 
unterschiedliche Uberwachungsdaten gewonnen werden, ^ 
die zu unterschiedlichen Aktionen fiihren konnen; 

Fig. 4 eine Skizze, die eine Erzeugung eines Lichtbu- 
schels aus einem Lasersrrahi mittels eines Reflexion s-Holo- 
grammsdarstellt; 

Fig. 5 eine Abbildung, die Verzerrungs-Vektoren als Dif- 40 
ferenz zwischen einem Referenzbild und einer Aufnahme 
der Kamera darstellt ; 

Fig. 6 eine Skizze, die eine Erzeugung eines Lichtbu- 
schels aus mehreren Lichtquellen, vorzugsweise Laserdio- 
den, darstellt, wobei das Reflexionshologramm und/oder die 45 
Laserdioden beweglich gelagert sind. 

Fig. 1 zeigt eine schematische Darstellung zur Uberwa- 
chung einer vorgegebenen Szene mil einer Lichtquelle, die 
ein Lichtbuschel emittiert und einer Kamera, die die Szene 
aufnimmt. 50 

Die vorgegebene Szene SZ, beispielsweise ein Sitzraum, 
wird von einer Lichtquelle LQ, die sich an einem Punkt E 
(mit den Koordinaten x2, y2 und z2) befindet und Licht- 
strahlen in Form eines Lichtbuschels LB emittiert, beleuch- 
tet. Eine im Koordinatenursprung (xl=0, yl=0 und zl=0) 55 
liegende Kamera KAM nimmt die Szene SZ auf. Die Ka- 
mera KAM liefert einen kontinuierlichen Bilderstrom, aus 
dem in einer Videobildverarbeitung 101 zweidimensionale 
Bilddaten 103 gewonnen werden. Nach der Videobildverar- 
beitung 101 erfolgt. eine Szeneninterpretation 102, die einen 60 
Sitzraunistatus 104, also das Ergebnis der automarischen 
Sitzrauiiiuberwachung, anzeigt. Vorzugsweise werden die 
Videobildverarbeitung 101 und die Szeneninterpretation 
102 auf einem Rechner durchgefuhrt. Abhangig vom Sitz- 
raunistatus 104 wird cine vorgegeben Aktion ausgefuhrt. 65 

Das Lichtbuschel LB bildet fur jeden Lichtstrahl des 
Lichtbuschels einen Lichtpunkt auf die Szene SZ ab. Die . 
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Szene SZ auf und anhand der Videobildverarbeitung 101 
wird ein Unterschied zu einem Referenzbild bestimmt. Die 
Art, auf die dieser Unterschied zu inlerpretieren ist, wird an- 
hand eines probabilistischen Verfahrens trainieri und aiisge- 
wertel. Insbesondere findet dies in der Szeneninterpretation 
102 statt. Damit. kann automatisch anhand der Szeneninter- 
pretation 102 eine Veranderung von Objekten in der vorge- 
gebenen Szene SZ auBerhalb vorgegebener Parameter ange- 
zeigt werden bzw. MaBnahmen ergriffen werden, deren je- 
weilige Wirkung auf die Position des jeweiligen Ob jekts ab- 
gestellt ist. 

Fig. 2 zeigt einen multiplen Strahlenteiler, der aus einem 
Lichtstrahl LS ein Lichtbuschel LB (siehe auch Fig. 1) er- 
zeugt. Die Lichtquelle LQ, vorzugsweise eine Einrichtung 
zur Erzeugung eines Laserstrahls, emittiert einen Lichtstrahl 
LS, der auf einen zweiten Spiegel SP2 fallt. Der zweite 
Spiegel SP2 verfugt vorzugsweise uber einen Reflexions- 
faktor von 90%, der Lichtstrahl LS wird also am Punkt 201 
zu 90% reflektiert und zu 10% durchgelassen. In einem 
Punkt 202 wird der Lichtstrahl LS mit nurmehr 90%-iger In- 
tensitat an einem ersten Spiegel SP1, der eine vollstandige 
Reflexion sicherstellt, zu 100% reflektiert, also erreichen 
90% der Intensiiat des Lichtstrahls LS den Punkt 203, an 
dem 9% der In ten sit at in Richtung der zu beleuchtenden 
Szene durchgelassen und 81% in Richtung erster Spiegel 
SP1 reflektiert werden. In einem Punkt 204 werden 100% 
der verbleibenden 81 % der Intensiiat des Lichtstrahls LS re- 
flektiert. es kommen demnach 81% an einem Punkt 205 an. 
An dem Punkt 205 werden 8,1% der Intensitat des Licht- 
strahls LS in Richtung zu beleuchtender Szene durchgelas- 
sen, 72,9% werden reflektiert. 

Durch Fortsetzung der Reflexionen in weiteren Punkten 
ergibt sich eine Aufweitung des Lichtstrahls LS zu einem 
Lichtbuschel, das an den Punkten 201, 203 und 205 den 
multiplen Strahlenteiler in Richtung zu beleuchtende Szene 
verlafit. In Fig. 2 ist vereinfachend ein System ohne Verluste 
beschrieben, umdas Prinzip des multiplen Strahlenteilers zu 
veranschau lichen. 

Weiterhin gel ten die Gesetze der Optik, so daB beispiels- 
weise bei Reflexion an einem Spiegel ein Einfallswinkel 
gleich einem Ausfallwinkel ist. Der erste Spiegel SP1 und 
der zweite Spiegel SP2 sind zueinander keilformig angeord- 
net. Durch die Form des Keils ergibt sich die Art der Auf- 
spaltung des Lichtstrahls LS zu dem Lichtbuschel. Die Re- 
flexionsfaktoren fur den ersten Spiegel SP1 und fur den 
zweiten Spiegel SP2 konnen in gewissen Bereichen variie- 
ren, urn einer an eine Anordnung gestellten Anforderung fur 
die jeweilige Anwendung zu entsprechen. 

Fig. 3 zeigt eine schematische Darstellung zur Sitzraum- 
uberwachung, bei der abhangig von der Sitzposition einer 
Person unterschiedliche Uberwachungsdaten gewonnen 
werden, die zu unterschiedlichen Aktionen fiihren . 

Die vorgegebene Szene SZ ist in Fig. 3 ein Sitzraum. Mit 
mindestens einer Lichtquelle LQ wird anhand des in Fig. 2 
beschriebenen multiplen Strahlenteilers ST mindestens ein 
Lichtbuschel LB erzeugt, welches Lichtbuschel die vorge- 
gebene Szene SZ beleuchtet. Mit der Kamera KAM werden 
von der vorgegebenen Szene Aufnahmen gemacht. Sitzt 
keine Person auf einem Stuhl 304, so erhalt man eine Refe- 
renzaufnahme REF der Szene. Befindet sich eine Person in 
einer Position 301, so entsteht eine Aufnahme Al, in einer 
Position 302 entsteht eine Aufnahme A2 und in einer Posi- 
tion 303 entsteht eine Aufnahme A3. Abhangig von der Po- 
sition der Person wird von der Kamera der jeweilige proji- 
zicrtc Lichtpunkt des Lichtbuschels LB an unterschiedli- 
chen Positionen 305, 306, 307 und 308 aufgenonitiicn. 
Durch einen Vergleich mit dem Referenzbild REF ergibt 
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nutzung eines probabilistischen Vcrfahrens, vorzugsweise 
eines neuron alen Netzes, ausgewertct wird. Demnach wird 
der Sitzraum uberwacht, indem die Kamera KAM Aufnah- 
men A1, A2 und A3 von den projizierten Lichtstrahlen (des 
Lichtbiischels LB) macht und die Abweichungen dieser 5 
Aufnahmen vom Referenzbild REF zu verschiedenen Ak- 
tionen, bestimmt durch Trainingsdaten des neuronalen Nel- 
zes, fuhren. Auf dem Rechner R wird vorzugsweise eine 
zweidimensionale Bildverarbeitung mil anschlieRender 
Klassifikation anhand des neuronalen Netzes durchgefiihrt. 10 
Weicht die Position der Person urn eine vorgegebene 
Schwelle von dem Referenzbild REF ab. so kann eine vor- 
gegebene Aktion ausgefuhrt werden bzw. eine Anpassung 
an diese Position erfolgen. 

Fig. 4 zeigt eine Skizze, die eine Erzeugung eines Licht.- 15 
biischels LB aus einem Laserstrahl mittels eines Reflexion s- 
Hologramrns RH darstellt. Eine Moglichkeit zur Erzeugung 
des Lichtbiischels LB bestcht darin, anhand cincr Lieht- 
quelle LQ, vorzugsweise einer Laserdiode, das Lichtbuschel 
LB niittels eines Reflexions-Hologramms RH zu erzeugen. 20 
Die Auspriigung des Lichtmusters LM wird auf einem 
Schirm sichtbar. Reflexions-Hologramme RH konnen unter 
Beriicksichtigung gleichmafiiger Helligkeitsverteilung der 
einzelnen Strahlen des Lichtbiischels LB hergestellt werden. 
Man erhall. soinil ein Lichlbuschel LB, das eine vorgege- 25 
bene Feinheit und eine vorgegebene Helligkeitsverteilung 
aufweist. 

In Fig. 5 ist eine Abbildung dargestellL die Verzerrungs- 
Vektoren VV als Differenz zwischen einem Referenzbild 
und einer Aufnahme der Kamera darstellt. Verzerrungs- Vek- 3*3 
toren VV reprasentieren die parallaxe Verschiebung zwi- 
schen den Lichtpunkten des Referenzbildes gegenuber den 
Lichtpunkten der Aufnahme, die vorzugsweise bei Anwe- 
senheit von Objekten in der vorgegebenen Szene erstellt 
wird. Die Verzerrungs- Vektoren VV stellen Eingangsdaten 35 
fur das neuronale Netz dar, welches neuronale Netz auf un- 
terschiedliche Positionen von Objekten in der vorgegebenen 
Szene trainiert wird. Fiir das Training des neuronalen Netzes 
wird eine ausreichende Anzahl typischer und aussagerele- 
vanter Belegungen der vorgebbaren Szene definiert und fiir 40 
jede Definition eine Vielzahl von Fallen trainiert. Die Aus- 
gabe des neuronalen Netzes wird einer dieser Definitionen 
zugeordnet. 

Fig. 6 zeigt eine Skizze, die eine Erzeugung eines Licht- 
biischels aus mehreren Lichtquellen, vorzugsweise Laser- 45 
dioden, darstellt, wobei das Reflexions-Hologramm und/ 
Oder die Laserdioden beweglich gelagert sind. 

Mehrere Lichtquellen LQ1, LQ2 und LQ3, vorzugsweise 
Laserdioden, belcuchten ein Reflexions-Hologramm RH, 
das in einer horizontalen und in einer vertikalen Achse be- 50 
weglich gelagert isl. Das Lichtmuster LM zeigt, wie anhand 
der Bewegung des Reflexion s-Hologramms das Lichtbii- 
schel vergroBert wird. Jede Lichtquelle LQ erzeugt ein 
Lichtbiischel von 5x3 Strahlen (vertikal x horizontal). 
Ohne Bewegung des ReflexionsrHologramms ergibt sich 55 
demnach eine Lichibuschelzeile aus 15 x 3 Lichtstrahlen. 
Bewegt man das Reflexions-Hologramm um eine Achse, so 
ergibt sich bei Schwenkung um einen vorgegebenen Winkel 
eine entsprechend dieses Winkels verschobene Zeile aus 
Lichtstrahlen des Lichtbiischels. Codiert man das Schwen- 60 
ken des Reflektions-Hologramms zeitlich, so kann im Zeit- 
multiplex eine groBe Flache mit Lichtstrahlen des Lichtbii- 
schels abgedeckt werden. 

'v . - . 

Litcraturvcrzcichnis 65 
[1] Internet: . 
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Patent anspriiche 

1. Verfahren zur Uberwachung einer Szene, 

a) bei dem die Szene mit einer Lichtquelle bc- 
leuchtet wird, 

b) bei dem die beieuchtete Szene mil einer Ka- 
mera aufgenommen wird, 

c) bei dem anhand der Aufnahme Informationen 
uber Positionen von in der Szene vorhandenen 
Objekten ermittelt werden, indem die Aufnahme 
mit mindestens einenj • Referenzbild verglichen 
wird. 

2. Verfahren nach Anspruch 1 , bei dem die Lichtquelle 
. eine infrarote Lichtquelle ist. 

3. Verfahren nach Anspruch 1 , bei dem die Lichtquelle 
ein Laserstrahl ist. 

4. Verfahren nach einem der Anspriiche 1 bis 3, bei 
dem durch die Lichtquelle ein Lichlbuschel erzeugt 
wird. 

5. Verfahren nach einem der vorhergehenden Ansprii- 
che, bei dem die Aufnahme mit dem Referenzbild ver- 
glichen wird, indem eine Abweichung, dargestellt 
durch eine Menge von Abweichungspfeilen zwischen 
der Aufnahme und dem Referenzbild bezogen auf 
Punkte, die anhand der Lichtquelle auf die Szene ge- 

. worfen werden. mit Hilfe eines probabilistischen Ver- 
fahrens, insbesondere eines neuronalen Netzes, ausge- 
wertct und somitdie Szene uberwacht wird. 

6. Verfahren nach Anspruch 4 oder 5, bei dem das 
Lichtbuschel anhand der Lichtquelle und eines niulli- 
plen Strahlenteilers erzeugt wird, wobei der Strahlen- 
teiler einen ersten Spiegel, dessen reflektierende Flache 
in Richtung der zu beleuchtenden Szene gerichtet ist 
und der naher an der Lichtquelle angeordnet als ein 
zweiter Spiegel, dessen reflektierende Flache der re- 
flcktierenden Flache des ersten Spiegels gegenuber- 
liegt, umfaBt, wobei der erste Spiegel und der zweite 
Spiegel zueinander keilformig angeordnet sind. der 
zweite Spiegel eine geringere Reflexion als der erste 
Spiegel aufweist und ein Lichtstrahl der Lichtquelle 
zuerst schrag auf den zweiten Spiegel fallt, von diesem 
zum Teil in Richtung zu beleuchtende Szene durchge- 
lassen und zum Teil zum ersten Spiegel reflektiert wird. 

7. Verfahren nach Anspruch 6, bei dem der zweite 
Spiegel eine Reflexion kleiner 100% aufweist . 

8. Verfahren nach Anspruch 6 oder 7. bei dem der erste 
Spiegel eine yollstandige Reflexion aufweist. 

9. Verfahren nach Anspruch 4 oder 5 ? bei deni das 
Lichtbuschel anhand eines zweidimensionalen Beu- 
gungsgitters erzeugt wird. 

10. Verfahren nach Anspruch 9, bei dem das Beu- 
gungsgitter derart ausgeiegt ist, da6 das Lichtbuschel 
an alien Stellen nahezu gleiche Helligkeit hat. 

11. Verfahren nach Anspruch 4 oder 5, bei dem das 
Lichtbuschel anhand mindestens eines im zeitmulti- 
plex gebeugten Lichtstrahls der Lichtquelle erzeugt 
wird. 

12. Verfahren nach einem der vorhergehenden An- 
spriiche, bei dem die Szene einen Bedienraum darstellt 
und mindestens eine Bedienperson uberwacht wird. 

13. Verfahren nach einem der Anspriiche 1 bis 11, bei 
dem die Szene ein Fahrersitz eines Fahrzeugs ist. 

14. Verfahren nach einem der Anspriiche 1 bis 11, bei 
dem die Szene ein Bedienplatz in einer Fertigung ist. 
.15. Vorrichtung zur Uberwachung einer Szene 
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b) mil einer Kaniera, die die von der Lichtquelle 
beleuchlcte Szene aufnimml, 

c) mil einem Akror, der anzeigt, daR niindestens 
ein Objekl der Szene sich auRerhalh vorgegebener 
Parameter befindet, indent die Aufnahnie mil mih- 5 
deste-ns eineni Referenzbiid verglichen wird. 

16. Vorrichtung nach Anspruch 15, bei der die Licht- 
quelle eine intrarole Lichtquelle ist. 

17. Vorrichtung nach Anspruch 15, bei der die Licht- 
quelle eine Einrichtung zur Erzeugung eines Laser- 10 
strahls ist 

. 18. Vorrichtung nach einem der Anspruche 15 bis 17, 
bei der das Lichtbuschel anhand der Lichtquelle und ei- 
nes mulliplen Slrahienteilers erzeugt wird, wobei der 
Slrahlenteiler einen ersten Spiegel, dessen refiektie- 15 
rende Flache in Richtung der zu beleuchtenden Szene 
gerichtei ist und der naher an der Lichtquelle angeord- 
nct als cin zwcitcr Spiegel, dessen rcflckticrcndc Fla- 
che der reflektierenden Flache des ersten Spiegels ge- 
geniiberliegt, umfaBt, wobei der erste Spiegel und der 20 
zweite Spiegel zueinander keilformig angeordnet sind, 
der zweile Spiegel eine geringere Reflexion als der er- 
ste Spiegel aufweisr und ein Lichtstrahl der Lichtquelle 
zuerst schrag auf den zweiten Spiegel falit, von diesem 
zuni Teil in Richtung zu beleuchtende Szene durchge- 25 
Lassen und zum Teil zuni ersten Spiegel rerlektiert wird. 

19. Vorrichtung nach Anspruch 18, bei der der zweite 
Spiegel eine Reflexion kleiner 100% aufweist 

20. Vorrichtung nach Anspruch 1 8 oder 19, bei der der 
erste Spiegel eine vollstandige Reflexion aufweist. 30 

21. Vorrichtung nach eineni der Anspruche 15 bis 17, 
bei der das Lichtbuschel anhand eines zweidimensio- 
nalen Beugungsgitters erzeugt wird. 

22. Verfahren nach Anspruch 21, bei der das Beu- 
gungsgitter derart ausgeiegt ist, daB das Lichtbuschel 35 
an alien Stellen nahezu gleiche Helligkeit hat. 

': 23. Vorrichtung nach einem der Anspruche 15 bis 22, 
bei der das Lichtbuschel anhand mindestens eines im 
zeitmultiplex gebeugten Lichtstrahls der Lichtquelle 
erzeugt wird. 40 



Hierzu 6 Seite(n) Zeichnungen 



45 



, .55' 



65 



j - - ; \ ; 

- Leerseite - 

l 



ZEICHNUNGEN SEITE 1 



Nummer: 
Int. Cl. b : 

Offenlegungstag: 



DE198 09 210A1 
G 01 V 8/10 

16. September 1999 




2EICHNUNGEN SEITE 6 



Nummer: 
Int. CI. 6 : 

Offenlegungstag: 



DEI 98 09 210 Al 
G01 V #10 

16. September 1999 



CD 



•I 1 

1 CD 




ooooooyooo, 

O O O O OyOO o o 
O O O CKD OOO 
O O OOOOO 

O oo oooo ooooo ooo 
ooo o o ooooo ooooo 

OOO OOOOOO OOO OOO 



• 4 

New Options in Using Infrared for Detection, Assessment and Surveillance 

Dr. MelvinC. Maki 

and . 
Michael C. Dickie 
Senstar Corporation 
P.O.Box 13430 
Kanata, Ontario, Canada 



The use of infrared illumination in outdoor 
security has increased in recent years. The motivation 
for this has come from the growing need to reduce 
light pollution and costs, and with advances in 
technology. An earlier Carnahan paper reviewed 
some new alternatives based on emerging solid-state 
LED illuminators and illustrated their effectiveness 
when combined with video intrusion detection sensors 
such as DAVID 300. Since that time, work has 
continued in the direction of simplifying the IR 
technology and enhancing both its performance and 
cost effectiveness for security applications. This 
includes systems for integrated, long-range and 
uniform coverage necessary for practical assessment. 
These key advances are demonstrated in the new 
StarLED™ and StarCAM™ products. 



of this technology for both fixed and rapid 
deployment has increased with these simplifications of 
design, installation and use. 

This paper reviews the major design 
considerations that are taken into account when using 
infrared technology for surveillance, assessment, and 
detection in light of these advances. A video taken 
both with a separate IR sensitive camera and 
StarLED illumination, and with a StarCAM provides 
an illustration of the performance of these 
components. It also illustrates the illumination 
improvements compared to earlier systems, and 
displays the major design trade-offs in site 
illumination and detection requirements. 



StarLED as an IR illuminator is unique in INFRARED FOR SECURITY - BACKGROUND 
providing a number of new functions. Firstly, it 

provides an illumination pattern that is uniform over As !i ^ ht pollution increases the growing needs for 

a prescribed area, with built-in compensation for the providing CCTV assessment as part of perimeter security 

normal fall-off that occurs with distance from the dictate new solutions. Similarly, covert surveillance 

source. Secondly, illuminators with different light requirements demand that there be no visible signs of 

patterns have been developed to match different lighting or cameras. The use of passive technology such 

camera and scene requirements, such as field of view. as tner mal imagers is becoming more common, but these 

Finally, the illuminator has been optimized to provide are sti " cost| y* and it is difficult to relate the low- 

an extended range of coverage for practical resolution thermally-based image to data available from 

assessment or for detection applications. conventional daylight video. Solid-state infrared (IR) 

lighting meets these needs cost-effectively by providing a 

The other new development, StarCAM provides scene illumination that can be totally invisible to the 

the same illumination pattern features as StarLED human eye, but produce electronic charges in the CCD 

with the added feature of a camera integrated within imagers of readily available conventional CCTV 

the illuminator. This integrated approach reduces cameras. Papers presented earlier at Carnahan 111 and 

component costs and the number of obtrusive ADPA [2] introduced a new product, the Videopost, as a 

structures, as well as removing the designer's task of one hardware package solution for these requirements, 

having to match the individual system components of The Videopost included a solid-state LED illuminator 

low-light cameras, lens, housings and illumination and CCD camera in an aesthetic column or post format 

patterns. It also simplifies the installer's tasks by that could be installed in perimeter or area assessment 

removing the need for multiple wiring, separate applications, 
mounts for the illuminator, and the alignment of the 
camera with the illuminator. The range of application 
0-7803-3537-6-9/96/$4.00 ©1996 IEEE 12 



Since that time the technology has been enhanced to 
provide a more compact and cost-effective solution, a 
solution that is more flexible to variations in scene and 
lighting requirements and site characteristics. This has 
resulted in a family of StarLED™ IR illuminators, and an 
integrated camera/illuminator combination called the 
StarCAM™. 

This technology is the subject of this paper. 

IR Characteristics 

In this application IR refers to the near IR region of 
the electromagnetic spectrum, (see Figure 1 [3J ) with 
somewhat longer wavelengths beyond the visible 
spectrum, from approximately 750 to 1150 nm. The 
response of the human eye to this spectrum can be 
illustrated as follows - at 750 nm the illumination is 
slightly visible, at 880 nm it is possible to see a faint 
glow from an IR LED at night or in a dark room when 
looking directly at it, and at 950 nm the illumination is 
not visually evident in any sense. The response 
characteristics of cameras for use with IR must of course 
be much different than those of the human eye to capture 
this reflected light and provide an image. This will be 
discussed in more detail later. 
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Figure 1 - IR and the Electromagnetic Spectrum 

Since IR is just beyond the red end of the visible 
spectrum it provides somewhat different reflective 
response, and hence gray scale rendition for a scene than 
with a standard black and white camera and visible 
lighting. IR provides much greater reflectivity of many 
natural materials than visible light, for example grass 
appears to be almost white in a scene illuminated by IR 
lighting. Similarly, snow cover has much greater 



reflectance at IR. This can be a considerable illumination 
bonus since it means less wattage for performing its 
function compared to using visible artificial light. Some 
synthetic fabric materials have different reflectivity under 
IR light, making their actual colour more difficult to 
predict. However, for most surveillance or assessment 
needs this effect is of little or no concern, and is 
compensated by the improved illumination performance 
to cost ratio. 

IR illumination was first developed based on existing 
filament visible light bulbs. These bulbs generally 
provide a very wide spectrum of wavelengths, therefore 
an IR transmitting filter is used to restrict the output to 
the desired IR region. Unfortunately, this is a 
considerable and costly waste of energy since the extra 
power either above or below the desired IR range is 
dissipated as heat, and only contributes to thermal 
degradation of the filter or reflectors. The short lamp life 
of filament type bulbs is also a distinct disadvantage. 
More recently, halogen bulbs have been developed with 
an improved but still wasteful level of efficiency. These 
bulbs still have a wide spectrum response and require a 
filter and sometimes fan cooling. 

Solid-State LED Illuminators 

A new technology approach to illuminators has now 
been developed using solid-state light-emitting diodes 
(LED's). Individual LED's produce a small output, but in 
one hundred element planar arrays the output adds up 
linearly to provide a significant level of illumination. 
Applications for this technology range from display 
board arrays used in visible signage, to single units used 
for invisible IR remote controls. IR spectral response and 
longevity are important factors when considering LED's 
as illuminators. Figure 2 131 shows the typical response of 
Gallium Arsonich (GaAs) LED's used in solid-state 
illuminators for invisible CCTV lighting. Compared to 
the other lighting sources these are very narrow band in 
frequency with a high efficiency of energy conversion, 
(50% electrical to optical conversion), and provide 
virtually no spillage outside of the IR band, without use 
of filters. Unlike filament bulbs that deteriorate in 
illumination power output as they degrade, typically 
requiring replacement after 2000 to 4000 hours, LED's as 
a solid-state device have a service life in excess of 10 



* 



years. This provides a considerable cost advantage over 
the life of the installation in terms of operating power 
cost, bulb and filter replacement cost and associated 
maintenance labour. They also have safety benefits f4] . 




Wavelength (nanometers) 



Figure 2 - Spectral Response for Common Illuminators 

New Product Family - StarLED 

A new family of products has been developed based 
on GaAs LED technology with some further 
improvements. 

One of the unique features of these illuminators is the 
built-in compensation for the Mr fall-off of illumination 
with range 151 . This is accomplished by a special array of 
lenses combined with LED aiming and placement to 
provide less than a 3:1 variation of illumination over the 
specified field of view (FOV). Figure 3 shows an 
example of the typical fall-off of a standard illuminator 
compared to StarLED with its compensation techniques. 
The built-in compensation provides the illuminator with 
a much longer range than simple array LED illuminators. 
The power that, with a conventional illuminator normally 
results in a bright spot in the foreground is 
proportionately re- aimed to the far-field to produce a 
range increase and uniform illumination. The bright spot 
may also cause the associated camera auto-iris to close 
making other areas darker thereby losing the ability to 
discriminate detail in the background. 
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Figure 3 - Illumination fall-off comparison 



The StarLED 200, (see Figure 4), includes flood, 
spot, and totally invisible versions to satisfy different 
applications. The 200 series includes more output LED's 
to provide extra range when compared with the earlier 
100 model. The StarLED 200 also allows direct input 
line powering from 110 or 220VAC. Only 65 watts of 
power is required compared to several hundreds of watts 
for typical filament illuminators in the same range. This 
compact package weighs less that 3.6 kg (8 pounds). 




Figure 4 - StarLED 200 

The illumination footprints for the StarLED 200 
illuminators, are shown in Figures 5 through 7. The 
footprint patterns depend on the illuminator mounting 
height, (nominally 4 m), and aim point, and vary in the 
vertical. At the aim point the target to be illuminated is 
typically one meter tall. Figure 5 illustrates the spot 
version horizontal footprint for an aim point of 85 meters, 
a shape and light uniformity that corresponds well with 
an ideal footprint for the selected 25 degree beam width. 
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Figure 5 - Illumination footprint for StarLED 200 (spot) 
aim point 85 m from illuminator 



Figure 6 shows the equivalent footprint for the flood 
version with an aim point at 75 m. In this version the 
horizontal angle is doubled to 50 degrees. 
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Figure 6 - Illumination footprint for StarLED 200 (flood) 
aim point 75 m from illuminator 

Finally, Figure 7 shows the footprint for the invisible 950 
nm version (unit LEDs cannot even be seen as ON). The 
available LED 's for this wavelength provide an 
intermediate pattern of a 40 degree horizontal angle, and 
maximum 60 m range. 
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Figure 7 - Illumination footprint for StarLED 200 (inv) 
aim point 60 m from illuminator 
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application Considerations j 

An important consideration for CCTV lighting to 
make an IR installation successful is the choice of 
cameras and lens to match the illuminator pattern, site 
needs and FOV This is essential to convert the invisible 
to the clearly visible, use of camera to see in a covertly 
illuminated FOV. 

To achieve the range performance of the above 
footprints similarly for the camera to provide video at an 
illumination of 0.5 (jW/cnr it would need to provide 
usable video with 0.01 lux faceplate illumination, with a 
minimum 30 per cent relative response at the LED 
wavelength (880 or 950 nm) and use an f/0.95 lens or 
better. Although CCD cameras inherently provide a good 
response into the IR, it is important to check the spectral 
response curves of the specific camera to ensure.it meets 
these specifications, since some low-light visible cameras 
may have cut-filters to reduce their IR response. The 
camera should also work well in daylight throughout the 
scene illumination range. 

Since camera and illumination specifications are not 
standard for IR they can be confusing. Several 
references* 6 and 71 for discussion of these issues have been 
included. 
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For optimal performance, use of a special IR coated 
lens should also be considered. These can add a small 
cost premium but provide the benefit of reduced 
transmission loss at IR and reduced transmission of 
visible light.This may reduce the focus shift between 
visible light (day) and IR light (night) due to variation of 
refractive index of glass for different wavelengths. This 
focus shift effect can be minimized if the lens is focused 
to the scene at night under low light with maximum 
aperture and minimal depth of field. The increased depth 
of field in the daytime should compensate for this. 

As with normal video, selection of lens focal length is 
important for matching the camera and field of view with 
the detection or assessment requirement, and with the 
illuminator. For example, if it is necessary to identify 
rather than simply detect, the target should typically be 
represented by at least 7 TV lines on the video monitor. 




Based on 70 m (230 ft) distance 
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Figure 8 - Illuminator cost comparisons 

A poor combination of illuminator and camera can 
quickly rob the application of some of the advantages of 
this simple illumination approach. For example, if the 
combination of illuminator and camera only allows for 
one-half the range, as with conventional uncompensated 
illuminators of equivalent power or an inadequate 
camera; the cost for auxiliaries - additional mounting 
poles, cameras, enclosures, wiring and labour - will 
double the overall installation cost. As illustrated in 
Figure 8, this can counteract any perceived benefits in 
reduced costs of individual components. Life-cycle or 
operating support cost differences will also increase with 
additional equipment. 



Integrated Product - StarCAM 

Another new product line is now available as an 
integrated long-range illuminator/camera combination, or 
ouidbor no-light 24-hour camera; see Figure 9 This is the 
StarCAM (Patent pending) which combines a low-light 
camera with an illuminator compactly in a package 
almost identical to the StarLED. StarCAM models 
include spot and flood versions for long range or wide 
angle applications. A sun hood is included to reduce 
environmental effects. The benefits to this integrated 
approach are as follows: 




Figure 9 - StarCAM 

• illuminator compensated for uniform profile with 
range as with StarLED 

• camera and lens are prematched to the illuminator 
footprint - no need to assess camera and lens 
specifications or test for compatibility 

• camera prefocused and aligned with illuminator - no 
need to open unit for set-up or individual aiming at 
night 

• both LED and CCD components have similar 
matched long life - minimal service 

• integral controlled heater to prevent faceplate 
fogging- illumjnator provides additional heat . 

• common housing and mount and point for wiring 
and video signal 

These advantages trade off with the flexibility to 
select specific cameras and serviceability of unit and lens 
with the illuminator, or to adjust relative positioning. For 
instance, there is typically some performance degradation 
under extreme environmental conditions with cameras 
with co-located illuminators since there is near-field 
illumination of rain or snowfall close to the camera. 



# This modular combination is an attractive option 
where one wants a package that looks neither like a 
camera nor a light source. It does not require the skills 
and labour needed for selection, matching and wiring of 
multiple components. The choice of illuminator depeinds 
on the application. If a site has existing cameras or needs 
to mix lighting types, a separate combination may be 
preferable. Separate systems may also be the preferred 
choice if extreme environmental conditions demand 
cameras with wipers or other features. 

Illustrative IR Images 

The accompanying presentation is intended to make 
use of a videotape since a picture is certainly worth a 
thousand words in this video and lighting technology. 
The following photos taken from a video recording show 
some media transfer degradation from the live image, but 
serve to give an idea of what an IR scene is like. Figures 
10 and 11 show an intruder on a clear grassy area at 
ranges of 30 and 60 meters using the combination of a 
StarLED 200 (spot) and a separate Ikegami ICD42A 
camera and 18 mm and f/1.4 lens. Note that the 
illuminator is aimed to point about 1 m above the ground 
at a range of 40 m. Figure 12 shows the same 30 m range 
with a StarCAM (spot). 




Figure 10 - StarLED 200 (spot) at 30 m range 




Figure 1 1 - StarLED 200 (spot) at 60 m range 




Figure 12 - StarCAM (spot) at 30 m range 



General Applications 

The above new components can be combined to suit a 
variety of potential site applications. This includes long- 
range perimeter assessment, area illumination, or fill-in 
needs. Figure 13 shows how multiple units can be 
arranged to assess even longer zones, for perimeter 
assessment rather than identification, using a longer focal 
length lens. Conversely, wider FOVs for local close in 
areas can also be achieved, as in Figure 14.. 




Figure 13 - Multiple units used to create a longer FOV 




again visible illumination delers intrusion except in 
poorly lit areas (gaps). The covert nature does, however, 
deprive the intruder of the knowledge of the assessment 
system. Mobile covert uses would rely on the compact 
StarCAM combination and its quick and simple set-up. 

Conclusions 

The above paper illustrates an exciting advancement 
in illumination for security video surveillance and 
assessment. Hardware is relatively simple to install and 
compact resulting in reduced installation and life-cycle 
support requirements. The technology provides 
economical long-term, unobtrusive, reliable solutions to 
a variety of CCTV applications in a simple and compact 
package. 
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Figure 14 - Multiple units used to create a wider FOV [gj 
Some applications where these products might be 
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areas adjacent to residential areas where excessive visible 
lighting will disturb the public, airports where glare is to 
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in hospital wards when the lights must be out. The covert 
nature may not increase the deterrent to intrusion but then 
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